#Looped Models

3 篇

Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design

迈向正确的循环模型：拓扑、输入注入与循环状态设计（第一部分）

🧭 高效循环 LLM 架构设计

Institute of Foundation Models · USC · CMU

系统消融循环LLM的拓扑、输入注入和循环状态设计，证明Huginn架构在稠密和MoE模型上均优于Ouro且参数效率更高

📌 工作参考价值（4 点）

循环 Transformer 是低成本部署 LLM 的有效架构：在电商搜索、推荐系统等需线上低延迟、低显存的场景，可采用 prelude–recurrent block–coda sandwich 结构，以相同 FLOPs 将 resident 参数减少约 75%，适合高频更新和边缘部署。
把 input injection 看作增强知识检索与上下文利用的专项机制：在做 query 改写、搜索 suggestion、商品描述生成或 RAG-based 推荐时，可专门设计输入注入层，将用户上下文、商品知识等注入循环块，而不用改变整体拓扑。
循环状态设计应从简：论文显示 separate H/L recurrent states 和 random initialization 无稳定收益，因此工程实现中不要过度设计循环状态，优先使用简单共享状态和标准初始化，降低实现复杂度。
MoE 与循环结合可行且路由更均衡：推荐系统的大规模稀疏 MoE 模型可借鉴 Huginn-style loop，用更少 resident 参数维持性能，同时改善专家负载均衡，适合多域/多任务推荐联合训练。

LLM | 2026-10-15 | HF Daily | score 7/10

LEV：循环决策模型实现快速与深度思考

🧭 循环决策模型 · 自适应深度推理

Lehigh University · University of British Columbia · Vector Institute

提出 LEV，通过循环重跑层而非生成 token 实现自适应深度推理，在决策任务上以低计算开销提升准确率

📌 工作参考价值（4 点）

在排序/CTR 预估模型中引入循环 Transformer 层，共享权重跑多步，让模型根据样本难度自适应停止，在线推理可节省 15-24% 计算，准确率损失 <1 点，适合高 QPS 的广告精排场景。
借鉴 LEV 的联合训练策略：对每个循环步骤都计算损失并回传，训练时模拟不同深度，使一个 checkpoint 支持任意推理深度，便于线上动态调整 latency-accuracy 平衡点，无需部署多套模型。
设计轻量 stopper 网络，利用未标注请求（如线上曝光日志）拟合停止阈值，避免人工标注难度，可直接迁移到推荐系统中做自适应 early exit，在低延迟约束下最大化效果。
该工作表明循环层优于同延迟的稠密模型和级联模型（5.4-8.8 点提升），因此在资源受限的端侧或边缘推荐场景中，优先考虑循环架构而非简单加深或级联。

Reasoning | 2026-10-13 | HF Daily | score 7/10

用循环流思考

🧭 循环神经网络与概率流推理

EPFL · KAIST · University of Amsterdam · Carnegie Mellon University · TU Wien

提出循环流模型，用局部去噪目标训练循环网络，推理时积分概率流实现计算扩展，在ARC-AGI等基准上超越先前的循环模型

📌 工作参考价值（4 点）

循环生成模型训练中，若梯度只截断少数步（如在线生成式推荐的多步解码），可借鉴局部去噪目标：每一步只做当前噪声水平的去噪，不要求整个循环链端到端可微，缓解早期步骤无法支持后续步骤的问题。
推理时通过更细的时间网格积分概率流，用更多计算换取更好预测，适合对延迟敏感的业务按负载动态调整解码步数，实现在线算力弹性伸缩。
从不同初始噪声采样可获得多个有效预测，可用于生成式推荐中产出多样化候选 item，后续用排序模型筛选或做多样性打散，兼顾覆盖与准确。
循环状态与流状态解耦（先运行去噪器更新循环状态，再执行 ODE/SDE 步），工程上易于模块化，可分别优化状态传递逻辑和数值积分器。

Reasoning | 2026-09-10 | cs.LG | score 7/10